Αμέσως μετά την επιστροφή του από την Ιταλία (Ιούνιος του 1788), ο Γκαίτε καταπιάστηκε με μια συλλογή ποιημάτων, που έμελλε να γίνουν οι Ρωμαϊκές Ελεγείες, στην οποία έδωσε τον προσωρινό τίτλο "Buchlein Elegien" ("Βιβλιαράκι Ελεγείες") ή "Cahier" (Τετράδιο), και υπότιτλο "Erotica Romana". Αυτή αποτελείτο από 26 ποιήματα. Περί τα τέλη του 1790 και πριν η συλλογή εκδοθεί, ο Γκαίτε αφαίρεσε, αυτολογοκρινόμενος, τις δύο λεγόμενες "πριάπειες" ελεγείες, οι οποίες θα χρησίμευαν μάλλον ως πρόλογος και επίλογος της συλλογής. Δύο ακόμη από τα ποιήματα αφαιρέθηκαν - έμελλαν να αποτελέσουν τμήμα μιας άλλης συλλογής, τα "Βενετσιάνικα Επιγράμματα" (συγκεκριμένα τα με αρ. 101 και 102). Οι υπόλοιπες είκοσι δύο ελεγείες αριθμήθηκαν με λατινικά ψηφία και ο τίτλος έγινε "Elegien", Rom 1788 ("Ελεγείες", Ρώμη 1788). Μετά από παρέμβαση του Σίλλερ, στο περιοδικό Die Horen (Οι Ώρες) του οποίου θα γινόταν η έκδοση, ο Γκαίτε αφαίρεσε, μάλλον απρόθυμα, άλλες δύο ελεγείες, ως υπερβολικά ελευθεριάζουσες και αναπροσάρμοσε την αρίθμηση για τις υπόλοιπες είκοσι, αυτές που σώζονται και στο χειρόγραφο με την αρίθμηση H 20. Οι υπόλοιπες τέσσερεις (οι δύο που κόπηκαν προ της εκδόσεως και οι δύο "πριάπειες") που έμειναν ανέκδοτες όσο ζούσε ο ποιητής (εκδόθηκαν με πολλές περικοπές το 1887, και ολόκληρες το 1913), σώζονται στο χειρόγραφο με την αρίθμηση H 21. Η συμπερίληψη των "πριάπειων" στο ίδιο τετράδιο με τις δύο λογοκριθείσες ελεγείες ενισχύει το συμπέρασμα ότι και τα τέσσερα ποιήματα έμελλαν να αποτελέσουν τμήμα της ίδιας συλλογής.
Από το 1806 ο τίτλος της συλλογής στους πίνακες περιεχομένων των έργων του ποιητή γίνεται "Romische Elegien" ("Ρωμαϊκές Ελεγείες").